package com.shujia.flink.tf;


import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class Demo4KeyBy {
    public static void main(String[] args) throws Exception {
        //1、创建环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        //设置并行度
        env.setParallelism(2);

        //2、读取数据
        DataStream<String> linesDS = env.socketTextStream("master", 8888);

        /*
         * java lambda表达式需要指定返回类型
         * 1、直接再算子的后面再加一个参数指定类型
         * 1.1 : Types.STRING:嵌套类型需要使用上面的方式（Types.TUPLE(Types.STRING, Types.INT)）
         * 1.2 : TypeInformation.of(String.class)
         * 2、再算子后面再增加一个方法指定返回类型（returns）
         */
        //一行转换成多行
        DataStream<String> wordsDS = linesDS
                .flatMap((line, collect) -> {
                    for (String word : line.split(",")) {
                        //将数据发送到下游
                        collect.collect(word);
                    }
                }, Types.STRING);//指定返回类型

        //转换成kv格式
        DataStream<Tuple2<String, Integer>> kvDS = wordsDS
                .map(word -> Tuple2.of(word, 1))
                //指定返回类型
                .returns(Types.TUPLE(Types.STRING, Types.INT));

        /*
         * keyBy: 将相同的key分到同一个task中，同一个task中可以有多个key
         * keyBy之后可以进行聚合计算
         */
        //按照key进行分组
        KeyedStream<Tuple2<String, Integer>, String> keyByDS = kvDS
                .keyBy(kv -> kv.f0);

        //分组之后进行聚合计算
        DataStream<Tuple2<String, Integer>> countDS = keyByDS.sum(1);

        countDS.print();

        env.execute();

    }
}
